CPU和GPU之所以大不相同，是由於其設計目標的不同，它們分別針對了兩種不同的應用場景。CPU需要很強的通用性來處理各種不同的數據類型，同時又要邏輯判斷又會引入大量的分支跳轉和中斷的處理。這些都使得C ...

和許多多線程並行問題一樣，CUDA也存在互斥訪問的問題，即當一個線程改變變量Ｘ,而另外一個線程在讀取變量Ｘ的值，執行原子操作類似於有一個自旋鎖，只有等Ｘ的變量在改變完成之后，才能執行讀操作，這樣可以保 ...

CPU 矩陣乘法 能相乘的兩個矩陣，必須滿足一個矩陣的行數和第二個矩陣的列數相同. A(N*P) * B(P*M) = C(N*M).　其中P是行數，N是列數，　從寬高的角度來說，即 A的寬度和 ...

CPU和GPU內存交互 在CUDA編程中,內存拷貝是非常費時的一個動作. 從上圖我們可以看出:1. CPU和GPU之間的總線bus是PCIe,是雙向傳輸的. 2. CPU和GPU之間的數據拷 ...

Reduction並行分析: 每個線程是基於一個樹狀的訪問模型，從上至下，上一層讀取數據相加得到下一層的數據．不停的迭代，直到訪問完所有的數據． 利用這么多的線程塊(thread block) ...

1. Prefix Sum 前綴求和由一個二元操作符和一個輸入向量組成，雖然名字叫求和，但操作符不一定是加法。先解釋一下，以加法為例： 第一行是輸入，第二行是對應的輸出。可以看到，Output ...

在CUDA基本概念介紹有簡單介紹CUDA memory。這里詳細介紹： 每一個線程擁有自己的私有存儲器，每一個線程塊擁有一塊共享存儲器(Shared memory)；最后，grid中所有的線程都可以 ...

stream是什么 nivdia給出的解釋是:A sequence of operations that execute in issue-order on the GPU. 可以理解成在GPU上 ...

什么是Histogramming Histogramming是一種從大的數據集中提取典型特征和模式的方式. 在統計學中，直方圖（英語：Histogram）是一種對數據分布情況的圖形表示，是一種二維 ...

全局存儲帶寬(DRAM) 全局內存是動態隨機訪問的方式訪問內存．我們希望訪問DRAM的時候非常快，實際情況是DRAM中出來的數據非常非常慢，這就好比，理想狀態是泄洪，水傾巢而出，氣勢宏偉，實際取水卻 ...